Tháng 3 năm 1926, Nguyễn Ái Quốc giới thiệu ông gia nhập Đảng Cộng sản Trung Quốc. Năm 1927, ông bị chính quyền Trung Quốc Quốc dân Đảng bắt giam 3 lần, lần lâu nhất bị giam 5 tháng, nhưng cuối cùng ông được trả lại tự do cùng một số người khác. Tháng 8 năm 1928, ông lại bị bắt giam tới tháng 11 năm 1929. Sau khi được thả, ông đến Hồng Kông. Tại đây, ông gia nhập Chi bộ Hải ngoại của An Nam Cộng sản Đảng. Cũng trong thời gian này, thực dân Pháp đã cho lập phiên tòa ở Nghệ An để xử vắng mặt và kết án tử hình Hồ Tùng Mậu với tội danh "Vận động lập Đảng Cộng sản, xúi giục đưa người ra nước ngoài, mưu đồ phản loạn".[3]

Đầu năm 1930, Nguyễn Ái Quốc đến Hồng Kông, tổ chức Hội nghị hợp nhất các tổ chức cộng sản Việt Nam. Hồ Tùng Mậu là một trong bảy thành viên tham dự Hội nghị thành lập Đảng ngày 3 tháng 2 năm 1930 tại Cửu Long (Hương Cảng), do Nguyễn Ái Quốc thay mặt Quốc tế Cộng sản chủ trì. Hồ Tùng Mậu và Lê Hồng Sơn tham dự Hội nghị với tư cách "Cán bộ lãnh đạo ở hải ngoại", tham gia thành lập Đảng Cộng sản Việt Nam.[3]